本文提出了一种凝视校正和动画方法，用于高分辨率，不受约束的肖像图像，可以在没有凝视角度和头部姿势注释的情况下对其进行训练。常见的凝视校正方法通常需要用精确的注视和头姿势信息对培训数据进行注释。使用无监督的方法解决此问题仍然是一个空旷的问题，尤其是对于野外高分辨率的面部图像，这并不容易用凝视和头部姿势标签注释。为了解决这个问题，我们首先创建两个新的肖像数据集：Celebgaze和高分辨率Celebhqgaze。其次，我们将目光校正任务制定为图像介绍问题，使用凝视校正模块（GCM）和凝视动画模块（GAM）解决。此外，我们提出了一种无监督的训练策略，即训练的综合训练，以学习眼睛区域特征与凝视角度之间的相关性。结果，我们可以在此空间中使用学习的潜在空间进行凝视动画。此外，为了减轻培训和推理阶段中的记忆和计算成本，我们提出了一个与GCM和GAM集成的粗到精细模块（CFM）。广泛的实验验证了我们方法对野外低和高分辨率面部数据集中的目光校正和凝视动画任务的有效性，并证明了我们方法在艺术状态方面的优越性。代码可从https://github.com/zhangqianhui/gazeanimationv2获得。
translated by 谷歌翻译
最近的工作表明，视觉变压器（VTS）的注意力图在接受自学训练时，可以包含一种语义分割结构，在监督训练时不会自发出现。在本文中，我们明确鼓励这种空间聚类的出现作为一种培训正规化的形式，这种方式包括在标准监督学习中进行自我监督的借口任务。更详细地，我们根据信息熵的空间公式提出了一种VT正则化方法。通过最大程度地减少提议的空间熵，我们明确要求VT生成空间有序的注意图，这是在训练过程中包括基于对象的先验。使用广泛的实验，我们表明，在不同的培训方案，数据集，下游任务和VT体系结构中，提出的正则化方法是有益的。该代码将在接受后可用。
translated by 谷歌翻译
最近已经示出了从2D图像中提取隐式3D表示的生成神经辐射场（GNERF）模型，以产生代表刚性物体的现实图像，例如人面或汽车。然而，他们通常难以产生代表非刚性物体的高质量图像，例如人体，这对许多计算机图形应用具有很大的兴趣。本文提出了一种用于人类图像综合的3D感知语义导向生成模型（3D-SAGGA），其集成了GNERF和纹理发生器。前者学习人体的隐式3D表示，并输出一组2D语义分段掩模。后者将这些语义面部掩模转化为真实的图像，为人类的外观添加了逼真的纹理。如果不需要额外的3D信息，我们的模型可以使用照片现实可控生成学习3D人类表示。我们在Deepfashion DataSet上的实验表明，3D-SAGGAN显着优于最近的基线。
translated by 谷歌翻译
视觉变换器（VTS）作为卷积网络（CNNS）的架构范式替代品。与CNN不同，VT可以捕获图像元素之间的全局关系，并且它们可能具有更大的表示容量。然而，缺乏典型的卷积电感偏差使这些模型比普通的CNN更饥饿。实际上，嵌入在CNN架构设计中的某些本地属性，在VTS中应该从样品中学习。在本文中，我们明确地分析了不同的VTS，比较了他们在小型训练制度中的鲁棒性，并且我们表明，尽管在想象中训练时具有可比的准确性，但它们在较小数据集上的性能可能很大程度上不同。此外，我们提出了一种自我监督的任务，可以从图像中提取其他信息，只有可忽略不计的计算开销。这项任务鼓励VTS学习图像内的空间关系，并使VT培训在训练数据稀缺时更加强劲。我们的任务与标准（监督）培训共同使用，它不依赖于特定的架构选择，因此它可以轻松插入现有的VTS。使用与不同的VTS和数据集进行广泛的评估，我们表明我们的方法可以改善（有时显着地）VTS的最终精度。我们的代码可用于：https：//github.com/yhlleo/vts-droc。
translated by 谷歌翻译
持续学习（CL）旨在制定模仿人类能力顺序学习新任务的能力，同时能够保留从过去经验获得的知识。在本文中，我们介绍了内存约束在线连续学习（MC-OCL）的新问题，这对存储器开销对可能算法可以用于避免灾难性遗忘的记忆开销。最多，如果不是全部，之前的CL方法违反了这些约束，我们向MC-OCL提出了一种算法解决方案：批量蒸馏（BLD），基于正则化的CL方法，有效地平衡了稳定性和可塑性，以便学习数据流，同时保留通过蒸馏解决旧任务的能力。我们在三个公开的基准测试中进行了广泛的实验评估，经验证明我们的方法成功地解决了MC-OCL问题，并实现了需要更高内存开销的先前蒸馏方法的可比准确性。
translated by 谷歌翻译
低成本毫米波（MMWAVE）通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透，为第五代（5G）的大规模和致密的部署铺平了道路（5G） - 而且以及6G网络。同时，普遍存在MMWAVE访问将使设备定位和无设备的感测，以前所未有的精度，特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查，重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后，我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面，包括每个工作的主要目标，技术和性能，每个研究是否达到了一定程度的实现，并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法，密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途，相关和及时的研究方向的结论。
translated by 谷歌翻译